Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use
多模态具身智能体:从计算机使用到机器人使用的统一能力中心视角
🧭 多模态具身 Agent 能力框架与评测
Show Lab, National University of Singapore
提出 PAPAV 五功能框架,统一比较计算机使用与机器人智能体,揭示 Anticipate 与 Verify 评测缺失
📌 工作参考价值(4 点)
- 将推荐/搜索 Agent 按 Perceive、Anticipate、Plan、Act、Verify 拆解能力项,分别建立评估指标,而不是只看最终转化或任务成功,便于定位失败环节。
- 在生成式推荐或 query 改写中,显式引入“动作影响预判”和“结果校验”模块:生成候选前先做效果预估与风险检查,生成后主动验证用户反馈,弥补现有链路只优化 Act 的不足。
- 对自动操作类 Agent(如电商后台自动化、广告账户操作),可借鉴其按功能而非架构的评测思路,设计分能力测试集,尤其覆盖不可逆动作前的 Anticipate 与执行后的 Verify。
- 整体为框架综述,无具体算法可迁移;核心价值在评估维度与系统解耦思路,可作为 Agent 评测设计参考。